PRISM: PRIvileged Sibling-guided Multi-Agent Topology Design
PRISM:特权兄弟图引导的多智能体拓扑设计
🧭 多智能体拓扑设计 · 特权蒸馏 ★ 深度解读
National University of Singapore
利用同一 query 的其他成功拓扑作为特权输入,通过 on-policy 蒸馏改进多智能体拓扑生成器后训练
📌 工作参考价值(4 点)
- 如果业务中已有 execution-verified 轨迹/方案语料,但只有成功与否、没有显式排序,不要直接继续 SFT 到高频解;可以借鉴 PRISM,用同一请求/用户的其他成功解作为训练期特权输入,让学生模型在自己的采样轨迹上做 on-policy 蒸馏,保持多样性并提升 query-specific 效果。
- 推荐/搜索后训练常受 exposure bias 困扰:离线伪标签与线上自回归生成分布不一致。PRISM 的做法是学生按当前策略采样 M 条轨迹,教师在访问状态上给出决策级软标签,且用 reverse KL 鼓励模式集中,这比 forward KL/JSD 在数学类任务上平均更高;适合有多个成功解、需要模型收敛到某个模式而非平均的场景。
- 特权信息分支采用 zero-initialized FiLM + low-rank(rank=16)控制参数,训练后丢弃,部署结构不变、推理成本几乎不增;电商/广告中可将训练期才有的完整用户行为、后验转化信号、专家标注等作为特权输入,蒸馏进部署模型。
- 做消融时建议同时跑 constant teacher 和 shuffled teacher 对照,分离“蒸馏过程收益”和“特权内容收益”;PRISM 显示 shuffled 甚至会误导,constant 蒸馏只带来部分提升,真实 sibling 内容贡献额外 +1.66% 平均准确率,这种拆解对评估训练技巧很有用。